from datasets import load_dataset

# 指定缓存路径（可以改成你想要的本地路径）
cache_dir = "/home/mht/FLAP/dataset"

# 下载 wikitext-2-raw-v1 的训练集、验证集、测试集
print("开始下载 wikitext-2-raw-v1 数据集...")
dataset = load_dataset("wikitext", "wikitext-2-raw-v1", cache_dir=cache_dir)

print("下载完成，数据集包含以下分割：", dataset.keys())

# 可选：打印前几条
print("\n训练集前几条：")
print(dataset["train"][0:3])
